视频框架插值(VFI)实现了许多可能涉及时间域的重要应用程序,例如慢运动播放或空间域,例如停止运动序列。我们专注于以前的任务,其中关键挑战之一是在存在复杂运动的情况下处理高动态范围(HDR)场景。为此,我们探索了双曝光传感器的可能优势,这些传感器很容易提供尖锐的短而模糊的长曝光,这些曝光是空间注册并在时间上对齐的两端。这样,运动模糊会在场景运动上暂时连续的信息,这些信息与尖锐的参考结合在一起,可以在单个相机拍摄中进行更精确的运动采样。我们证明,这促进了VFI任务中更复杂的运动重建以及HDR框架重建,迄今为止仅考虑到最初被捕获的框架,而不是插值之间的框架。我们设计了一个在这些任务中训练的神经网络,这些神经网络明显优于现有解决方案。我们还提出了一个场景运动复杂性的度量,该指标在测试时间提供了对VFI方法的性能的重要见解。
translated by 谷歌翻译